iT邦幫忙

2023 iThome 鐵人賽

DAY 22
0

利用弱分類器(決策樹)迭代訓練或得強分類器,其具有訓練效果好、不易過擬合等優點。

LightGBM V.S. XGBoost

圖源: https://reurl.cc/Ryyg9D
https://ithelp.ithome.com.tw/upload/images/20231007/20163280uMCLeX9FhU.png

  • XGBoost
    • XGBoost是基於gradient boosting進行優化,包括加入正規化來防止過擬合等
    • XGBoost樹以水平方向生長,是一層一層生長
    • 關於XGBoost在幾天前的文章中有寫過筆記
    • XGBoost的缺點:
      • 需大量記憶體
      • 花費時間較多
  • LightGBM
    • LightGBM樹以垂直方向生長(如圖),使用帶有深度限制的按葉子生長(leaf-wise) 的方式
    • 透過GOSS技術,LightGBM能夠在保持較高預測效能的同時,減少記憶體消耗
      • GOSS的方法: 簡單來說就是保留有最大梯度的資料,並在其他具有小梯度的資料上採用隨機取樣

參考資料


上一篇
Day21-主成分分析 (Principal Component Analysis)
下一篇
Day23-Naive Bayes Classifier
系列文
什麼演算法?一起來學機器學習!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言